EM^2Mem：面向大语言模型的事件中心多模态记忆
🧭 多模态 RAG · 事件索引
Zhejiang University · South China University of Technology · Lenovo Group Limited
以事件为中心组织多模态记忆，将异构证据绑定到事件锚点，提升长视频 QA 精度并大幅降低推理成本
📌 工作参考价值（3 点）
- 直播/商品视频问答：按业务事件（商品讲解、优惠发放、试用对比）建立事件索引，把对应帧、ASR、OCR、商品卡片绑定到事件 cell；检索时直接返回完整事件单元，避免 agent 在推理时拼接零散多模态片段，降低延迟与 token 开销（论文减少 63.66% tokens、4.67× 延迟）。
- 召回/证据评测：引入 strict event-level Top-K evidence recall，评估检索结果是否覆盖关键事件而非只看最终答案准确率，可用于商品知识库、直播切片或广告素材检索的离线评测。
- 用户行为记忆：将 session 内行为序列按事件（搜索、点击、加购、下单）聚合为 memory cell，绑定跨通道特征、时间与商品关系，为 LLM 推荐/导购 Agent 提供紧凑、可溯源的上下文，减少推理时的对齐成本。
LightMem-Ego：面向日常生活的轻量级流式多模态记忆系统
🧭 多模态记忆 · 层次化检索生成
Zhejiang University · South China University of Technology · Central China Normal University · Lenovo Group Limited
一个可部署在手机和AI眼镜上的层次化多模态记忆系统，支持连续积累、组织与检索日常经历
📌 工作参考价值（4 点）
- 对话推荐Agent的记忆架构：将用户行为流组织为“当前/短期/长期”三层记忆，与电商对话推荐中实时意图、近期行为、长期偏好的分层建模直接对应，可参考其时间对齐与路由检索机制。
- 流式多模态积累：对用户第一人称视频、音频流持续处理并按统一时间线存储，可迁移到直播推荐、短视频推荐中对用户行为的细粒度时序建模。
- 查询驱动的动态路由：根据问题类型自动选择检索深度（如只需短期记忆的“东西放哪儿”vs需长期记忆的“习惯分析”），可用于智能客服或推荐解释中的上下文选择。
- 轻量部署设计：系统在端侧运行，推荐系统的在线特征存储与实时召回也可借鉴其内存压缩与分层方案，降低延迟与资源消耗。
M3Exam：真实用户-智能体交互的多模态记忆基准测试
🧭 多模态长期记忆评估与模态感知检索 ★ 深度解读
The Hong Kong University of Science and Technology · Beijing University of Chemical Technology · Harbin Institute of Technology (Shenzhen) · Beijing Institute of Technology (Zhuhai) · Tencent Hy
首个多会话多模态记忆基准M3Exam及模态感知方法M3Proctor，按需使用原始视觉提升13%准确率且token减少70%以上
📌 工作参考价值（4 点）
- 模态感知级联检索：电商Agent可借鉴M3Proctor的查询模态偏向检测，先用文本替身回答，仅在需要时加载图片/文档，大幅降低多模态推理token成本。
- 记忆索引优化：将图片转为caption、文档转为digest作为文本替代品，并附加模态标签，结合偏向重排序提升跨模态检索精度，适用于多模态商品知识库的RAG。
- 长会话记忆摘要：通过紧凑的session summary维持跨会话线索，帮助电商智能客服在多轮对话中保持用户长期记忆，避免上下文断裂。
- 隐式意图评估设计：引入Implicit Inference和Thematic Reasoning题型，可移植到推荐系统长期用户理解的评测中，检验模型从非明确信息推断偏好与状态的能力。
个人视觉记忆：从显式与隐式证据中学习
🧭 多模态记忆 · Agent 长期记忆评估 ★ 深度解读
Johns Hopkins University · University of Wisconsin-Madison · Adobe Research
提出首个面向个性化AI助手的视觉记忆基准，并设计混合视觉-文本记忆架构显式保留身份与所有权
📌 工作参考价值（4 点）
- 图片记忆不应沦为caption：现有记忆系统将图像转为文本描述，丢失身份、所有权等关键视觉信息。你的电商/Agent场景若涉及用户上传图片（如服装、家居），应保留结构化视觉特征，而非仅存文本摘要。
- 延迟提交机制值得工程化：当图像信息不足以立即判断时，不急于提取结构化记忆，而是暂存pending状态，待后续多张图像累积证据后再统一解析。这一trick可迁移到用户多轮上传图片的商品识别、搭配推荐等场景。
- 结构化视觉记忆的模块设计：将记忆拆成relationship、entity、fact三个层级，分别存储社交关系、物体/宠物实例、持久化用户事实，按需路由。电商场景可类似设计：从用户晒图中抽取拥有的商品、偏好风格（实体/事实），而非仅用文本embedding。
- 利用合成数据构建视觉记忆评估管线：论文用一致化角色-场景-物体图像生成pipeline构建有多distractor的长会话，可借鉴用于Agent记忆能力的离线评测，避免隐私风险。
MementoGUI：为长周期 GUI 代理学习主动多模态记忆控制
🧭 GUI 代理 · 主动多模态记忆管理 ★ 深度解读
University of Rochester · MIT-IBM Watson AI Lab · University of Wisconsin-Madison
提出即插即用的主动多模态记忆框架，不微调 GUI 骨干，通过学习写入、压缩、检索视觉工作记忆与情景记忆提升长周期任务表现
📌 工作参考价值（4 点）
- 双时间尺度记忆架构：将记忆解耦为工作记忆（在线保存任务状态）和情景记忆（跨任务经验复用），可参考设计电商 Agent 的长会话状态管理与跨会话知识积累，避免上下文无限膨胀。
- 自动数据管线生成监督信号：从交互轨迹自动构造步骤重要性、摘要、ROI 框和检索需求等训练标签，可迁移到对话或操作型 Agent 的记忆选择标注，降低人工成本。
- 即插即用的记忆注入方式：仅用文本摘要和 ROI 裁剪图像，不引入特殊 token 或架构改动，直接作为冻结 GUI 骨干的输入，便捷增强已有 Agent 的长程决策能力。
- 长周期评估指标：提出基于 VLM 的语义动作匹配、任务进展、记忆一致性评分，可参考用于评估电商场景下多步任务的决策质量和记忆使用合理性。